Lâm Nghị có 2400 năm lịch sử. Thập niên 1970, bộ Binh pháp Tôn Tử của Tôn Tử được khai quật ở đây.

Mùa Xuân năm 1938, trong thời kỳ Chiến tranh Trung-Nhật thứ hai, thành phố là nơi giao chiến ác liệt giữa quân Trung Hoa và quân Nhật Bản. Quân Trung Hoa được cổ vũ bởi thành công của quân mình ở trận chiến Đài Nhi Trang, đã quyết liệt bảo vệ Lâm Nghi nhưng quân Nhật đã phá thành vào ngày 10 tháng 4 năm 1938. Quân bảo vệ thành trong ngày hôm sau đã rút đến một khu vực giao tranh cách đó 30 dặm. Sau khi Cộng hòa Nhân dân Trung Hoa được thành lập tháng 10 năm 1949, các đơn vị hành chính đã được điều chỉnh.